#Scaling Law
Spectrum-X,輝達開啟了第二台“印鈔機”
乙太網路交換機的資料中心市場風雲變幻。根據IDC日前發佈的《季度乙太網路交換機追蹤報告》,乙太網路交換機的資料中心細分市場單季收入同比飆升71.6%,其中最值得注意的無疑是輝達,當季,輝達交換機業務收入同比暴增647%,達到23億美元,在資料中心細分市場中以25.9%的份額躍居第一,一舉超越傳統巨頭思科與Arista。這一變化的背後是源於AI驅動的基礎設施變革。當算力進入“億級參數、百萬GPU”的時代,網路不再是後台配角,而是決定AI訓練效率的核心引擎。從GPU之王到AI網路新王者,輝達正完成在AI基礎設施版圖中的關鍵一躍。那麼,這場顛覆是如何發生的?AI Scaling Law驅動,北美引領全球資料中心網路狂飆IDC資料顯示,2025年Q2全球乙太網路交換機市場總收入達145億美元,同比增長42.1%。這一增長幾乎完全由資料中心細分市場需求拉動,尤其是面向AI時代的基礎設施。在AI scaling law的推動下,模型參數量和訓練資料呈指數級上升,對計算密度、記憶體頻寬以及網路通訊性能提出了前所未有的要求。超大規模企業與雲服務商紛紛加速部署支援800GbE甚至更高頻寬的AI專用資料中心,直接引爆了高速交換機市場。第二季度,全球800GbE交換機收入環比暴漲222.1%,佔資料中心市場總收入的12.8%;200/400GbE交換機收入同比增長175.5%,合計佔據近一半市場份額(49.5%);ODM直供模式同比增長76.9%,顯示出定製化、規模化AI基建的主流趨勢。區域格局上,美洲市場整體增長56.8%,其中美國資料中心市場同比增長高達90.2%,成為全球AI投資的核心引擎。相比之下,歐洲、中東和非洲地區(EMEA)增長33.8%,亞太僅增長24.0%,凸顯了北美在AI基礎設施投入上的絕對領先優勢。交換機市場主要廠商均受益於這一浪潮:Arista Networks收入達18億美元,同比增長33.5%,其中90.7%來自資料中心;HPEAruba Networking的乙太網路交換機收入同比增長9.9%,其中84.9%來自非資料中心市場。而輝達則實現了驚人的647%同比增長,且其全部23億美元集中於資料中心領域,迅速搶佔制高點。反觀老牌龍頭企業思科,儘管其仍以40億美元保持整體收入第一,但其資料中心部分僅增長9.1%,超過三分之二的收入來自增長較緩慢的非資料中心市場。這意味著,在通往智能時代的主航道上,舊王者正在失去話語權。新霸主輝達則找到了它的新武器——Spectrum-X。從挖角思科“頂級發明家”到打造第二台“印鈔機”如果說2019年以70億美元收購Mellanox是輝達進軍高性能網路的第一步,那麼2023年推出的乙太網路網路平台Spectrum-X,是它打造第二台“印鈔機”的開始。Spectrum-X是輝達專為超大規模生成式AI叢集設計的企業級乙太網路解決方案,旨在解決傳統乙太網路在分佈式訓練和推理中的高延遲、抖動大、性能不可預測等根本性瓶頸。它的目標很明確:讓乙太網路具備接近InfiniBand的性能,同時打破其封閉生態與高成本桎梏。2024年10月,又一個標誌性事件發生:曾在思科效力25年、被官方認證為“頂級發明家”的資深工程師JP Vasseur宣佈加盟輝達,負責領導AI與網路架構創新。他的加入被視為輝達加速最佳化Spectrum-X底層演算法與可擴展性的關鍵訊號。就在他加盟一個多月前,輝達首席財務官Colette Kress在財報電話會上明確表示:“我們面向資料中心的Spectrum-X乙太網路產品線,有望在一年內成為價值數十億美元的產品線。”事實證明,這一預言已成為現實。在今年3月舉辦的輝達GTC 2025全球科技大會期間,黃仁勳將Spectrum-X稱為“全壘打式創新”,旨在將乙太網路提升至InfiniBand的性能水平。隨後在8月,輝達再進一步,發佈Spectrum-XGS乙太網路——Spectrum-X平台的重大升級版本。該技術首次實現“跨區域擴展”(scale-across),通過先進的遠距離擁塞控制、精準延遲管理與端到端遙測,將多個物理分散的資料中心整合為統一的“十億瓦級AI超級工廠”。這意味著,在高性能互聯技術的推動下,AI訓練正逐步突破單一建築或園區的限制,朝著像電網一樣靈活調度、分佈式協同的未來邁進。根據Colette Kress的預期,輝達計畫每年推出新一代Spectrum-X晶片與交換機,目標是支撐從數萬個GPU擴展到未來數百萬GPU的巨型叢集。這種持續迭代的能力,將是這台新“印鈔機”穩定運轉的關鍵。結語曾經,人們說輝達靠GPU印鈔;如今,隨著Spectrum-X的成功,在網路層面,輝達也在複製它在計算領域的戰績。屬於輝達的第二台“印鈔機”,已經轟鳴啟動,馬力全開。 (C114通訊網)
微軟CTO Kevin Scott 訪談:你不該因DeepSeek出自中國而驚訝,Scaling Law還有效,產品絕對大於模型
如果看中國AI初創公司,AI研究院的創始團隊出身,你會經常發現微軟的影子,特別是微軟在中國的幾個研究院。李開復、張亞勤,出門問問李志飛、階躍星辰姜大昕、矽基流動袁進輝……甚至阿里雲王堅。當然,我們可以說這是當年微軟本地戰略和中國人才的互相成就。而某種程度上,微軟也是相對更瞭解中國創新人才能力的跨國公司。一個例證,就是最近的油管20VC播客採訪中,微軟CTO Kevin Scott與主持人Harry Stebbings的一次訪談。Kevin Scott在訪談中當被問及是否低估中國在AI領域的能力時,給出了明確的回應:"我們應該真正、真正、真正尊重中國企業家、科學家和工程師的能力。他們非常優秀。如果你低估了他們,你不應該。"說來作為微軟技術戰略的領導者,Kevin Scott在該公司與OpenAI的合作中發揮了關鍵作用。甚至,沒有Kevin Scott,就沒有微軟對OpenAI的投資。2019年6月的時候,他給微軟CEO薩提亞寫了一封信,力陳微軟在AI領域的落後,應該對OpenAI投資。具體見下圖:當然,最後負責投資的微軟CFO據說還是沒有給OpenAI打錢,最後是Kevin Scott團隊的GPU和預算挪給了OpenAI。回到正題,Kevin Scott在這次訪談中,分享了對AI技術發展周期、產品價值、中國AI能力以及技術創新等多個關鍵主題的獨特見解,相當值得一讀。比如他說Scaling Law沒有結束,因為機器不像人類,存在一種生理極限。你可以不同意他的看法(比如我就不太同意他第一個看法),但是可以作為一種啟發。(這兩天在國外,只能半夜發文了,苦)一、AI時代的持久價值:產品勝過模型Kevin Scott認為,當前AI領域的不確定性恰恰是每個重大技術範式轉變初期的典型特徵。他將這種現象與網際網路早期和移動網際網路興起時的混亂相比較。在這種轉型期,最重要的不是盲目追隨技術趨勢,而是專注於打造優質產品。"模型不是產品,"Kevin強調,"這是我過去幾年一直在說的,因為每個人都太著迷於基礎設施本身。"他解釋道,模型確實非常有價值,但其價值只有通過產品與使用者需求連接起來才能實現。"在極限情況下,我認為產品是最重要的事物。我們不是為了基礎設施而建立基礎設施,我們建立基礎設施是為了讓人們能夠製造產品。"關於價值分佈,Kevin指出,無論是初創公司還是像微軟這樣的大型企業,都在追求同樣的目標:發現新事物。對於大公司而言,這意味著利用現有優勢服務客戶;而對創業生態系統而言,則是探索全新的領域。他特別強調了生態系統多樣性的價值:"在AI平台轉型中,任何單一實體如微軟或其他大公司都不可能擁有足夠的想像力和視角來知道每一個有趣的事情是什麼。所以擁有一個充滿活力的生態系統,很多人在探索價值存在的地方,我認為這非常令人興奮且必要。"二、Scaling Law的未來:能力邊界尚未可見當談到AI模型Scaling Law是否即將觸及上限時,Kevin持明確反對立場。他指出:"這是個荒謬的說法。我可以非常清楚地看到我們現在正在做什麼,接下來要做什麼,而且我看不到Scaling Law的限制。"Kevin承認,從直覺上講,一定存在某種極限,但他認為這個邊界目前尚不在視野之內。他將人類智能的限制歸因於物理約束:"人類在智能上的限制是你的頭骨中只能容納這麼多神經元,而且你的能量包絡只有約20瓦,這就是限制。"相比之下,AI系統可能沒有這樣的明確界限。雖然Kevin不同意那些認為AI沒有極限的觀點,但他相信我們最終會達到一個規模漸近線,屆時增益會逐漸減少:"我相信我們會達到某個點,那時我們會遇到規模漸近線,會有邊際收益遞減,而且它會變得如此昂貴,以至於我們會決定不值得花下一塊錢來讓這個東西再聰明一個單位。"然而,他強調:"我認為這個點會到來。我只是現在還看不到它。它現在不在視野範圍內。"三、資料質量與合成資料的崛起在探討AI發展的核心要素時,Kevin深入分析了資料在模型訓練中的角色演變。他指出,合成資料使用比例正在上升,高品質資料正變得越來越有價值,特別是在模型訓練後期階段。"如果你有正確的基礎設施、超高品質的資料和超高品質的專家人類反饋,你可以將這些放大到適合訓練越來越大模型的正確token集。這些內容的價值遠超網際網路上漂浮的未分化token。"Kevin解釋道。他強調了資料評估中的關鍵挑戰,即難以量化衡量單個資料token對模型質量的增量價值。Kevin特別指出了一個重要觀點:"將模型視為事實資訊庫的人,將它們視為世界上最糟糕、最昂貴的資料庫...這不是特別有用的。我們有搜尋索引和資料庫,這些工具已經足夠好用於檢索資訊。"他認為模型真正的價值在於推理能力:"你希望模型能夠做的是推理資訊。如果你給它們訪問資訊的權限,它們能多好地推理一組資訊,為你做一些有用的事情?"這一觀點展示了資料使用範式的轉變,從簡單地記憶事實轉向在複雜場景中進行有效推理,這需要不同類型的訓練資料和方法。四、推理最佳化與價格性能的持續改進談到模型推理(inference)的發展時,Kevin指出了許多人忽視的重要趨勢:過去幾年中在最佳化模型性能方面取得的持續突破。他將"推理"一詞重新定義為"使用"(usage),以更準確地反映這一過程。"我們只是在過去的幾年中——現在已經有很多年了——反覆取得了令人難以置信的進步,年復一年,令人難以置信的進步,最佳化模型的性能,使推理的性能越來越好。"Kevin解釋道。這導致了一個重要趨勢:"隨著時間的推移,模型變得更大,而API呼叫卻變得更便宜。"他指出,雖然硬體每一代可能只帶來約2倍的價格性能提升,但軟體棧的最佳化帶來了更大的改進。談到最近引起廣泛關注的DeepSeek R1發佈時,Kevin表示這只是性能價格改進曲線上的一個點:"DeepSeek R1工作做得不錯...但應該將其視為價格性能改進線上的一個點,這個點對其他人來說可能是不可見的,但對那些深入最佳化這些系統的人來說並不是不可見的。而且這不是最後一個點,它只是不斷前進。"Kevin的這一觀點強調了軟體最佳化在AI成本降低中扮演的核心角色,暗示了即使是使用相同硬體,推理性能也能通過軟體改進獲得顯著提升。五、AI代理的未來:從簡單任務到複雜工作Kevin對AI代理(Agents)的未來持有明確的願景。他不認同"一個代理解決所有問題"的理論,而是預見會有多個專業領域的代理出現。"我認為你會有很多代理,而我認為你會有很多代理的原因是因為你的產品經理可能需要是領域專家。"他指出當前AI代理的一個主要缺陷是缺乏記憶:"現在我們的代理明顯缺乏記憶功能,這使它們非常具有交易性質。"Kevin預測未來一年左右,記憶功能將得到顯著改進,這將使代理能夠根據過去的互動更好地適應使用者偏好,並避免重複解決相同問題。對於代理的長期發展路徑,Kevin描繪了一個清晰的演進軌跡:"第一代代理擅長5秒任務,然後是下一代擅長5分鐘任務。而我們正在走向的是你可以隨著時間的推移委派越來越複雜的任務和越來越繁重的工作。就像你對同事一樣。"他強調了非同步互動的重要性,讓代理能夠在使用者不關注時完成任務。Kevin總結道:"我們永遠不應該忘記我們的目標是什麼。你不想要一個只是優秀的電子郵件摘要工具,對吧?你想要的是一些你可以告訴它,比如說'我每天早上5點起床,請在每天早上5點消化所有夜間收到的電子郵件,起草任何緊急事項的回覆,並在我喝咖啡時向我展示它們。'這應該是一個完全可能實現的事情。"六、軟體開發的革命:AI生成程式碼的崛起在討論軟體開發的未來時,Kevin做出了一個大膽預測:"95%的程式碼將由AI生成。我認為很少會有逐行由人類編寫的程式碼。"這一觀點引發了關於軟體開發者身份和角色的深刻思考。Kevin將這種轉變比作程式設計歷史上的抽象層次提高,類似於從彙編語言到高級語言的演變:"已經沒有人抱怨我不是在編寫彙編語言...這是同樣的區別。我們正在提高抽象等級。我們正在改變程式設計師用來與機器溝通的介面,表明這裡有一個需要解決的問題。"對於是否每個人都將成為程式設計師的問題,Kevin表示同意,但補充道不是每個人都會解決相同類型的程式設計挑戰:"如果你把這看作是提高每個人的水平,那麼它確實使每個人都成為程式設計師,因為你不再需要找人為你製作網站。但如果你試圖解決世界上最難的計算問題,你仍然需要電腦科學家。他們將極其出色地使用這些工具,解決以前難以解決的問題。"關於工程團隊結構的變化,Kevin希望小團隊能夠完成更多大事:"我猜測,也希望小團隊做大事情會變得更容易。這很重要,因為我認為小團隊比大團隊更快。有10個非常優秀、高度積極的工程師和非常強大的工具,你可以做很多事情。"七、技術債務與AI:從零和到非零和博弈的轉變Kevin分享了一個令他特別興奮的AI應用領域:消除技術債務。他將技術債務描述為工程管理中的一個棘手問題,類似於金融債務,會產生利息負擔。"如果你曾經管理過任何規模的工程團隊,你面臨的最棘手的問題之一,這是非常零和的傳統問題,就是技術債務的積累。"他解釋道,"你幾乎總是會面臨痛苦的權衡。比如說,'我必須推出這個東西,這意味著我無法讓技術部分完全達到我想要的狀態。所以我現在要發佈,以後再修復這個問題。'而一旦你這樣做了,你就鑄造了技術債務。"Kevin認為AI可以從根本上改變這個動態:"我認為我們可以將這個非常零和的技術債務積累問題轉變為非零和的事情,在那裡你不必像過去那樣做出那些權衡。"他提到微軟研究院約一年前啟動了一個大型研究計畫,其使命是使用這些新的AI工具大規模消除技術債務。當被問及從這個項目學到了什麼時,Kevin回答:"AI工具比人們想像的更有能力。一般來說,我認為現在前沿模型能做什麼與它們被用來做什麼之間的差距比兩年前更大。"這表明當前AI工具的潛力遠未被充分利用,特別是在軟體開發和技術債務管理方面。八、領導原則與個人成長:專注於你的天賦在快速問答環節,Kevin分享了一些寶貴的個人洞見和領導經驗。當被問及最好的建議時,他提到了一個關於個人能力和發展的重要概念。"我有一位導師曾經告訴我,你可以想像一個人或團隊的能力在一個直方圖上,最左邊的桶是'笨蛋',最右邊的桶是'天才',中間的桶是'平庸'或'平均'。"Kevin解釋道,這位導師指出,通過巨大努力,你最多可以將某方面的能力提高一到兩個檔次,但人們常犯的錯誤是專注於提高自己最差的方面。"如果你相信這個理論,那麼如果你在某事上是個笨蛋,你能做到的最好結果就是在這方面變得平庸。而你花在努力達到平庸上的所有時間,都沒有用在做你擅長或天才的事情上。"Kevin認為這是非常好的建議,因為有價值的事情通常需要團隊協作,可以很容易地組建一個互補的團隊。當被問及自己有意識決定不去提高的弱項時,他坦言:"我對官僚事務極其不耐煩,我討厭預算、設施和所有機械性的部分...如果我想的話,我可能會成為一個非常平庸的官僚,我只是在這方面很糟糕。"九、從薩提亞·納德拉身上學到的領導智慧在談到微軟CEO 薩提亞·納德拉的領導風格時,Kevin分享了他觀察到的核心領導原則,這些原則使微軟在AI轉型中保持領先。"我認為他的核心領導原則是,你必須同時為人們創造能量和產生清晰度。"Kevin解釋道,Satya非常善於確保對話的能量是積極的,人們離開審查會議和對話時,帶著能夠幫助他們完成艱巨任務的能量。同時,Kevin強調了清晰度與能量同等重要:"你不能只是產生很多能量和熱情,而同時不為人們澄清最重要的事情是什麼。"這種平衡對於領導大型技術組織尤為重要,特別是在快速變化的AI領域。這種領導方法——結合能量激發和方向清晰——為微軟在技術轉型期保持聚焦和前進提供了關鍵指導,也是其他科技領導者可以借鑑的重要經驗。十、中國AI能力:不應被低估的創新力量當被問及是否低估中國在AI領域的能力時,Kevin給出了明確的回應:"我們應該真正、真正、真正尊重中國企業家、科學家和工程師的能力。他們非常優秀。如果你低估了他們,你不應該。"Kevin對DeepSeek發佈的公眾反應感到驚訝,因為這反映了一種普遍的誤解:"這是DeepSeek反應的另一個有趣之處,人們似乎有多驚訝。比如,'哦,天那,這來自中國。'這不應該令人驚訝。"這一觀點表明,西方技術界可能存在著對中國AI創新能力的系統性低估。Kevin認為,認識到全球創新格局的多極化對於正確評估技術發展趨勢至關重要。在一個技術創新越來越分散的世界中,忽視任何主要參與者的能力都可能導致戰略誤判。結論Kevin Scott的見解為我們提供了理解AI技術發展的一個框架。他強調產品才是最終價值所在,而非模型本身;他預見了AI代理將從簡單任務處理者演變為複雜工作的協作夥伴;他預測軟體開發將大幅度向AI生成程式碼轉變;他展望了技術債務可能被AI工具從根本上改變的未來。最重要的是,Kevin表達了一種平衡的技術樂觀主義。他既看到了AI的巨大潛力,同時也承認有意義的創新需要清晰的目標和務實的應用。他的觀點提醒我們,技術發展的關鍵不僅在於推動前沿能力,更在於將這些能力連接到人類實際需求的產品和解決方案上。隨著我們進入AI更深度應用的階段,Kevin的建議是:保持開放的創新生態系統,專注於建構有用的產品,並關注如何使技術惠及所有人。正如他所言:"我想看到每個孩子都感覺到我們正在建構的這些新工具是為了他們,可以被他們訪問,專門為他們建構,以完成他們認為最重要的事情。"這不僅是一個技術願景,更是一個社會願景,指向技術應該如何服務於人類更廣泛的需求和抱負。 (高飛的電子替身)
【GTC大會】粉碎摩爾定律後,黃仁勳又要打破 Scaling Law 的牆
剛剛擊破摩爾定律的輝達,卻要撞上 scaling laws 的牆?相當一部分評論家和分析師是這麼認為的。即便你不同意,也不能怪他們,畢竟在英特爾的身上,大家剛剛目睹了摩爾定律似乎「失效」了。在最近兩次財報電話會議(25Q3、Q4)中,每次都有不止一位分析師向輝達 C-level 拋出同一類問題:神經網路的 scaling law 是否不再起到作用了?他們真正想問的是:輝達還能否續寫連續兩個財年的瘋狂增長?這就是在業界甚囂塵上的 scaling law 撞牆猜測。簡而言之,機器學習的 scaling law 的指的是隨著模型大小(參數量)、資料集、訓練成本這三大要素的提升,大模型的性能也會有所提升(具體細節不展開)。而許多分析師看到 DeepSeek 震驚世界的成果之後,得出一種新的猜測,認為進一步訓練天量參數和超巨量資料集的大語言模型的意義沒那麼大了,蒸餾現有超大模型的性能也很不錯,完全事半功倍。而放在輝達的語境下,考慮到它是 GPT 技術催生和領導的大語言模型爆發的最大受益者,最近連續幾個季度的收入又過分嚴重依賴資料中心;現在大模型的蒸餾新玩法出現,似乎不再需要那麼多 Hopper、Blackwell,以及輝達早已畫好路線圖的新架構顯示卡,進而直接導致輝達圖形計算方案產品的市場需求從高位滑落,最近兩個財年的瘋長神話不再續寫。CEO 黃仁勳理解這種「恐慌」,畢竟公司股票在過去一年裡給太多人賺了太多錢。但他不理解人們為什麼會有 scaling law 不再適用的想法。在和軟銀創始人孫正義的談話中,黃仁勳提到,只要投入足夠的計算資源,採用更複雜的演算法,AI 的智能水平還能夠繼續提升。上一財務季度的電話會議裡,黃仁勳又提出了一個關於 scaling law 的新思考框架,具體來說有三個部分:預訓練 scaling、後訓練 scaling、推理 (包括模型推理 inference 和思維推理 reason)scaling。而在今天的輝達 Geforce 技術大會(GTC)上,他進一步闡釋了這個新的 scaling law 框架:通過 DeepSeek,人們用上了能夠推理 (reason),具有思維鏈的 AI。這和 ChatGPT 有本質的區別。ChatGPT 回答很多複雜問題的時候答案都是錯的,因為答案是一次性生成的,token 是一個接一個吐出來的。而現在 AI 能夠推理,每個 token 都返回到上一步重新處理,一次又一次的重複,最終形成一個思維鏈 (chain of thought)」「我們不只是 token 吞吐量提升了 10 倍,同時也需要 10 倍更快的計算(註:中和更多 token 消耗的時間)。最後的結果是,我們需要 10 x 10 = 100 倍更多的算力!」事實上在黃仁勳看來,任何人如果理解電腦科學領域的最基本悖論——延遲和吞吐量——就不會說出 scaling law 不再適用那些話。在基於強化學習,具有思維鏈 (chain of thoughts) 能力的大模型的推理過程中,每個新 token 都會在產生之後不斷地被送回上一步重新處理,用黃仁勳自己的比喻叫做「token 的自我懷疑」。他說,「如果你想要聰明的 AI,你就需要高效率地生成 token。如果你花了太長的時間去生成這些 token,你的客戶最後就不用你了。所以你的 token 速度很重要。」為了證明自己的觀點,黃仁勳拿出傳統大語言模型代表 Llama 3.3 70B 和 DeepSeek R1 671B(37B 啟動),讓它們回答同一個複雜問題。前者生成了 439 個 token,但給出的答案根本沒法用,黃仁勳說「400 多個 token 白白浪費了」。後者打開了標誌性的「深度思考」模式,結果生成了高達 8559 個 token,得到的答案令人滿意。但和所用算力相比,答案滿意與否已經沒那麼重要了:具有思維鏈的 R1 推理模型的 token 吞吐量是傳統模型 20 倍,現場演示的用時也比傳統模型長了兩倍,即便如此都要用到 150 倍的算力。如果換做消費級使用場景下,想要在足夠快、能留住使用者的時間窗口內,輸出經過深思熟慮的可靠結果,需要的算力只會成倍增加。怎麼訓練的模型也不太重要了。模型想要在真正的商業和消費應用中高效地進行推理/思考,同樣需要大量的算力。早在之前的財報會上黃仁勳就說過,人們目前看得見和用得上的消費級產品,比如搜尋、生成、推薦功能,還只是大模型能力的九牛一毛。未來的推理/思考型模型將要消耗掉的算力,將令人難以置信。他不得不在自己的主場 GTC 上,完整展現自己對於這件事的「思維鏈」,甚至在台上瘋狂做數學題,算 token 秒速、單機架功耗,再把它們合到一起算出每兆瓦秒 token 吞吐性能,推匯出新架構產品能讓客戶多賺多少錢。發佈會兩個多小時的觀感,70% 說服分析師,30% 面向開發者和企業夥伴。黃仁勳的技術前瞻性的確獨一無二,特別是帶領公司研發 CUDA 技術走上 GPGPU 道路,使得基於圖形計算架構的通用加速計算成為可能。而我們也看到了早年的這些決策,在最近兩年裡以資料中心業務的形態貢獻了輝達高達 90% 的收入,幫助公司實現高達 56% 的淨利潤。但歸根結底,黃仁勳是圖形加速計算布道者,更是顯示卡銷冠。他需要繼續不遺餘力地抬高輝達驅動的 GPU 資料中心——2025 年已經換了一個新名字,叫做 AI 工廠——在企業客戶心目中的價值認知和必要性心智,才能續寫輝達的股價神話。本屆 GTC 上發佈了很多核彈級的新 AI 加速計算方案,軟硬兼施,包括最新 Blackwell Ultra 架構 + NVLink72 互聯技術的伺服器機架產品和超算叢集產品、Dynamo 分佈式推理大模型環境部署軟體、AI 超算單機 DGX Spark/Station、數字-光纖調制解調模組等、Groot N1 人形機器人基礎模型等。這些產品和技術的意義很大,對於不同規模場景的企業建設自己的 AI 工廠,訓練自己垂直領域的獨家超大模型和機器人,能帶來很可觀的效能提升,最終帶來更高的收入。但現場黃仁勳反覆採用的一種敘事邏輯,有些耐人尋味:輝達在大量的企業級 AI 大模型訓練和部署展示中,一而再、再而三地強調大量預先模擬和測試的必要性。具體來說,未來的千行百業在應用 AI 技術的過程中,需要做大量的、反覆的模擬和測試工作。比如一個在工廠流水線工作的機器人,在真人教會他如何擺弄工具之前或者同時,他可以在大模型裡跑成百上千次模擬,包括動作模擬、物理引擎模擬,甚至 GPU 虛擬出的不同環境場景下的重複模擬。而這些模擬測試的內容,毫無意外,也是在輝達圖形計算方案驅動的伺服器裡進行的。輝達的 Omniverse 機器人 AI 作業系統和 Cosmos 真實世界基礎大模型,正是專為這些模擬測試背後的大模型訓練和部署工作而生的。也就是說,在輝達看來,不止訓練大模型,部署和推理大模型,在現實世界的千行百業應用大模型之前,還要進行大量的訓練-推理-再訓練-再推理……不斷循環往復的強化學習過程。每多強化一點,需要的算力都呈指數級提升。黃仁勳打的大概就是這個算盤:從 Hopper 架構升級到 Blackwell,token 吞吐效率已經幾何提升,轉換到客戶的每 token 收入翻了 40 倍。而如果再升級到 2027 年的 Rubin 架構,甚至 2028 年的 Feynman 架構,想都不敢想。The more you buy, the more you save?The more you buy, the more you(we) make!好在黃仁勳還算有良心,直接把這些未來 2-3 年內的新架構的命名、技術細節、預估提升水平都提前告訴好大家了。這樣客戶在籌劃修建自己的 AI 資料中心的時候,可以充分考慮預算、需要性能、工期等客觀因素,來精準地選購自己需要的輝達顯示卡。毋庸置疑的是,輝達需要持續炒熱 GPU 架構革新的意義,加快新架構發佈的節奏,甚至在幾乎一己之力打破了英特爾的摩爾定律之後,又創造了自己每年一升級的 tick-tock 規則。只有客戶的心智被規訓成「永遠認為自己需要更好的顯示卡」,就像每年總忍不住換新 iPhone 那樣,輝達才能有希望保持收入繼續增長,即便最近兩年的增速已經如此瘋狂。就像大會開場前的暖場對談裡所說的:在任何經濟裡,賣水的永遠會成功。最後,有一個疑惑縈繞在腦海裡:順著輝達的邏輯,總有一天,而且應該不會太久,這個世界上被用於訓練和最佳化所有大模型的資料,全都來自於別的大模型甚至這個大模型自己。機器都 scale up 了,人是不是就該 out 了?(APPSO)
【GTC大會】直擊黃仁勳演講:全世界都誤解了Scaling Law
“AI正處於拐點之中。“AI行業的“超級碗”開始了,今天的主角是黃仁勳。為了這個穿著黑色皮衣的男人,來自全球各地的科技行業創業者、從業者、開發者、科學家、投資人,還有輝達的客戶、合作夥伴以及媒體都匯聚在聖何塞這座小城。黃仁勳在GTC 2025的演講開始時間是當地時間3月18日上午10點,但是清晨6點,Doges AI創始人亞伯拉罕·戈麥斯(Abraham Gomez)就趕到了SAP Center,只為能“搶到一個前排的好位置”,當時他排在全場第二。而到了早上8點,場館外隊伍已經排出了一公里。音樂生成模型公司Wondera聯合創始人兼CEO Bill坐在觀眾席第一排,他特意穿著一件黑色皮衣,“只為致敬老黃”。雖然現場觀眾熱情高漲,但黃仁勳並沒有像去年那樣——如同一個“搖滾明星”讓人異常狂熱。他今年更想證明自己的判斷,證明輝達路線沒有問題,他全場說得最多的詞之一就是“scale up(擴大規模)”。去年GTC,黃仁勳認為“未來是生成的”;而今年GTC,黃仁勳認為“AI正處於拐點之中”。這次,黃仁勳主要發佈了三個方面的內容:第一,Blackwell GPU已全面投入生產。“產量增長令人難以置信,客戶需求也令人難以置信,”黃仁勳表示,“理由很充分,AI正處於拐點之中,由於推理人工智慧以及推理人工智慧系統和 Agentic 系統的訓練,我們在人工智慧中需要進行的計算量要大得多。”第二,搭載AI推理加速軟體Dynamo的Blackwell NVLink 72可提供NVIDIA Hopper 40倍的AI工廠性能。黃仁勳說:“隨著我們擴展AI,推理將成為未來十年最重要的工作負載之一。”而在介紹Blackwell Ultra的強勁性能時,黃仁勳又說出了那句經典台詞:“買得越多,省得越多。甚至比這更好——買得越多,賺得越多。”第三,輝達制定年度路線圖,希望引導全球企業、開發者圍繞其規劃AI基礎設施。輝達正在建構三個AI基礎設施,分別用於雲、企業和機器人。此外,輝達還發佈了兩款新的GPU:一是Blackwell Ultra GB300,這是去年發佈的Bl­a­c­k­w­e­ll的升級產品;二是全新一代的晶片架構Vera Rubin以及Rubin Ultra。黃仁勳對Scaling Law的信仰背後的秘密,就藏在歷經十幾代架構的晶片裡。總體而言,黃仁勳的演講一直在圍繞著“大模型推理的極限計算”。在AI推理中,從單一使用者到大規模部署,需要在性能與收益之間找到最佳平衡。系統既要確保使用者的快速響應,又要通過提升硬體(如FLOPS、HBM頻寬)和最佳化軟體(如架構、演算法)來提高整體吞吐量(Tokens per Second),以最大化規模化推理的經濟價值。關於Scaling Law放緩的問題,黃仁勳也提出了跟業內截然相反的觀點,他認為:“由於新興的擴展方法和技術,人工智慧的改進速度比以往任何時候都快。”黃仁勳最近的壓力並不小,在直播畫面之外,他在現場演講間隙多次喝水,演講最後,嗓音也略顯沙啞。AI市場正從“訓練”轉向“推理”,AMD、英特爾、Google、亞馬遜等科技巨頭推出專用推理晶片降低對輝達的依賴。同時Cerebras、Groq、Tenstorrent等初創企業加速佈局AI加速器,而DeepSeek等AI公司則希望通過最佳化模型減少對昂貴GPU的需求。這正是黃仁勳的壓力來源。輝達在訓練市場佔據超過90%的份額,隨著推理領域競爭越來越激烈,黃仁勳自然不想把推理市場拱手相讓,正如會場入口標語:AI的下一站是什麼?從這裡開始。以下是黃仁勳主題演講的重點內容,由「甲子光年」在GTC現場整理。1. 全世界都誤解了Scaling Law人工智慧是輝達近十年崛起的時代機遇。對於AI的前景,黃仁勳篤信不疑。本次GTC,黃仁勳一開場就將今年1月在CES上演講時用到的兩張PPT帶觀眾溫習了一遍:第一張是AI的發展迭代處理程序,黃仁勳將其分為Perception AI(感知AI)、Generative AI(生成AI)、Agentic AI(代理AI)、Physical AI(物理AI)四大階段。第二張是Scaling Law的三個階段,黃仁勳將其總結為Pre-training Scaling(預訓練擴展)、Post-training Scaling(後訓練擴展)、Test-time Scaling / Long Thing(測試時間擴展/長思考)。關於Scaling Law,黃仁勳提出了跟業內截然相反的觀點。他聲稱,幾乎“全世界都誤解了”Scaling Law放緩的問題。黃仁勳認為,事實上由於新興的擴展方法和技術,人工智慧的改進速度比以往任何時候都快。黃仁勳是堅定的Scaling Law的“信仰者”,這種信仰建立在全世界人工智慧的發展,都牢牢繫結於輝達的GPU業務的基礎上。黃仁勳隨後概述了能“一步步”推理的AI的發展,並提到了推理和強化學習的需求如何推動人工智慧計算的需求。隨著人工智慧正經歷一個“拐點”,四大雲服務提供商對GPU的需求正在激增。黃仁勳預計資料中心建設的價值將達到1兆美元。黃仁勳解釋道,NVIDIA CUDA-X GPU加速庫和微服務現在服務於每個行業。未來每家公司都會擁有兩家工廠:一家生產產品,一家生產AI。AI目前正在走向世界,涉足機器人、自動駕駛汽車、工廠和無線網路領域。黃仁勳表示,AI最早涉足的行業之一是自動駕駛汽車。他補充道:“我們開發的技術幾乎被每一家自動駕駛汽車公司使用”,無論是在資料中心還是汽車領域。黃仁勳宣佈了自動駕駛的一項重要進展:美國最大的汽車製造商通用汽車正在採用 NVIDIA AI、模擬和加速計算來開發下一代汽車、工廠和機器人。他還宣佈推出NVIDIA Halos,這是一款綜合安全系統,將NVIDIA的汽車硬體和軟體安全解決方案系列與其在AV安全領域的尖端AI研究結合在一起。接下來是資料中心和推理。黃仁勳談到了資料中心,他提到NVIDIA Blackwell已全面投入生產,並分享了來自眾多行業合作夥伴的系統。對此黃仁勳心里美滋滋的,他還介紹了Blackwell如何支援極端擴展,“我們想這樣做的原因是為瞭解決一個極端問題,這就是所謂的推理。”他解釋道,推理就是生成token,這對企業至關重要。生成這些token的人工智慧工廠必須以極高的效率和性能建造。隨著最新一代推理模型能夠思考和解決日益複雜的問題,對token的需求只會增長。為了進一步加速大規模推理,黃仁勳發佈了NVIDIA Dynamo,這是一款用於加速和擴展AI工廠中AI推理模型的開放原始碼軟體。“它本質上是AI工廠的作業系統。”黃仁勳說。2. 老黃好刀法:“買得越多,省得越多,賺得越多”輝達還發佈了兩款新的GPU:一是Blackwell Ultra GB300,這是去年發佈的Bl­a­c­k­w­e­ll的升級產品;二是全新一代的晶片架構Vera Rubin以及Rubin Ultra。Blackwell Ultra GB300將於今年下半年出貨,Vera Rubin將於明年下半年出貨,Rubin Ultra將於2027年下半年推出。同時黃仁勳還公佈了接下來的晶片路線圖,其下下一代晶片的架構已經被命名為Feynman,將於2028年問世。該名字可能以著名理論物理學家理查德·費曼(Richard Feynman)命名。輝達每一代GPU架構,都會採用著名科學家的名字來命名。Bl­a­c­k­w­e­ll是輝達在去年GTC發佈的新架構,以美國統計學家David Harold Blackwell來命名。今年發佈的最新一代架構Rubin,是以“證實暗物質存在”的女性科學先驅薇拉・魯賓(Vera Rubin)來命名。從2004年至今的十一年時間裡,輝達已經發佈了十三代晶片架構,包括Currie(居里)、Tesla(特斯拉)、Fermi(費米)、Kepler(開普勒)、Maxwell(麥克斯韋)、Pascal(帕斯卡)、Volta(伏特)、Turing(圖靈)、Ampere(安培)、Ada Lovelace(阿達·洛芙萊斯)、Hopper(霍珀)、Blackwell(布萊克威爾),以及今天的Rubin(魯賓),平均一年發佈一代多。黃仁勳對Scaling Law的信仰背後的秘密,就藏在這十幾代架構的晶片裡。Blackwell Ultra是去年發佈的Blackwell的升級版,但黃仁勳並沒有直接對比兩者的性能。輝達曾向媒體透露,單個Ultra晶片將提供與Blackwell相同的20 petaflops的AI性能,但HBM3e記憶體從192GB升級到了現在的288GB。與此同時,一個Blackwell Ultra DGX GB300“超級叢集”將提供與Blackwell版本相同的288個CPU、576個GPU和11.5 exaflops的FP4計算能力,但記憶體容量為從240TB升級到300TB。輝達一直將Blackwell Ultra與2022年發佈的H100做對比。根據官方資料,Blackwell Ultra提供了1.5倍的FP4推理能力,可顯著加快“AI推理”,NVL72叢集能夠運行一個互動式的 DeepSeek-R1 671B模型,只需十秒就能提供答案,而H100則需要1.5分鐘。輝達表示,這是因為Blackwell Ultra每秒可以處理1000個token,是H100的十倍。輝達還將提供一個名為GB300 NVL72的單機架,該機架提供1.1 exaflops的FP4、20TB的HBM記憶體、40TB的“快速記憶體”、130TB/秒的NVLink頻寬和14.4 TB/秒的網路。由於Blackwell Ultra相比H100的壓倒性優勢,黃仁勳顯然也擔心客戶不再為H100買單,也擔心自己的銷售人員還賣不賣的出去H100。他調侃自己是“首席收入破壞者”,並表示在某些情況下,Hopper晶片其實也“還行”,但又補充道“情況並不多”。接下來,黃仁勳說出了那句經典台詞:“買得越多,省得越多。它甚至比那更好。現在,買得越多,賺得越多。”輝達的下一代架構Rubin是一個全新架構。黃仁勳說,“基本上,除了機架外,所有東西都是全新的。”Rubin的FP4算力達到50千兆次,高於Blackwell的20千兆次浮點運算。Rubin Ultra將採用單晶片,該晶片實際上包含兩個連接在一起的Rubin GPU,其性能達到100千兆次FP4,是前者的兩倍,同時記憶體接近四倍,達到1TB。完整的NVL576 Rubin Ultra機架可提供15 exaflops的FP4推理和5 exaflops的FP8訓練,輝達稱其性能是今年推出的Blackwell Ultra機架的14倍。如何在晶片之上擴展到更大的系統?黃仁勳提到將光子學(一種依靠光而不是電訊號傳輸資料的網路技術)緊密整合到加速計算基礎設施中。輝達發佈的Spectrum-X和NVIDIA Quantum-X矽光子網路交換機融合了電子電路和光通訊,使AI工廠能夠跨站點連線百萬個GPU,同時降低能源消耗和營運成本。“這真是一項瘋狂的技術。”黃仁勳說道。與傳統方法相比,輝達光子交換機整合了光學創新技術,雷射器數量減少了4倍,從而實現了3.5倍的功率效率、63倍的訊號完整性、10倍的大規模網路彈性和1.3倍的部署速度。3. AI時代的電腦除了雲端晶片與資料中心外,輝達還推出了搭載NVIDIA Grace Blackwell平台的DGX個人AI超級電腦,讓AI開發人員、研究人員、資料科學家和學生能夠在桌面上對大型模型進行原型設計、微調和推理。黃仁勳將其描述為“完美的聖誕禮物”,並同時推出了DGX Spark(前身為Project DIGITS)和DGX Station,後者是一款搭載NVIDIA Blackwell Ultra平台的全新高性能NVIDIA Grace Blackwell桌面超級電腦。使用者可以在本地運行這些模型,也可以將它們部署在NVIDIA DGX Cloud或任何其他加速雲或資料中心基礎設施上。“這是AI時代的電腦。”黃仁勳說。華碩、戴爾和惠普將與Boxx、Lambda和Supermicro一起銷售台式電腦版本。面向AI agent,黃仁勳還發佈了具有推理能力的開源Llama Nemotron模型系列,為開發人員和企業提供一個業務就緒的基礎,建立獨立工作或作為連接的團隊解決複雜任務的高級AI agent。NVIDIA Llama Nemotron推理系列基於Llama模型,提供按需人工智慧推理功能。輝達在培訓後增強了新的推理模型系列,以改進多步驟數學、編碼、推理和複雜的決策。這一改進過程使模型的精準率較基礎模型提升高達20%,推理速度較其他領先的開放推理模型提升5倍,推理性能的提升意味著模型可以處理更複雜的推理任務,增強決策能力,降低企業的營運成本。領先的Agentic AI平台先驅——包括埃森哲、Amdocs、Atlassian、Box、Cadence、CrowdStrike、德勤、 IQVIA、微軟、SAP和ServiceNow——正在與 NVIDIA 合作開發其新的推理模型和軟體。4. 通用機器人時代已經到來黃仁勳將機器人描述為下一個價值10兆美元的產業,並表示到本世紀末,全球將至少缺少5000萬名工人。輝達提供了一套完整的技術,用於訓練、部署、模擬和測試下一代機器人技術。黃仁勳在一段視訊中宣佈推出輝達Isaac GR00T N1,這是世界上第一個開放、完全可定製的通用人形推理和技能基礎模型。他表示:“通用機器人時代已經到來。借助輝達Isaac GR00T N1和新的資料生成和機器人學習框架,世界各地的機器人開發人員將開闢人工智慧時代的下一個前沿。”輝達還宣佈發佈全新Cosmos世界基礎模型,為物理AI開發引入開放且完全可定製的推理模型,並賦予開發人員對世界生成前所未有的控制權。黃仁勳表示:“使用Omniverse來調節Cosmos,並使用Cosmos來生成無限數量的環境,使我們能夠建立有根有據、由我們控制,但同時又系統地無限的資料。”他還介紹了與GoogleDeepMind和迪士尼研究中心共同開發的用於機器人模擬的Newton開源物理引擎,然後,一個名叫“藍色”的微型機器人從地板上的一個艙口鑽出來,向黃仁勳發出嘟嘟聲。這個小傢伙去年GTC就來過黃仁勳演講現場,今年它再次成功吸引了全場的目光,大家都紛紛拿出手機拍攝。黃仁勳與迪士尼的機器人,來源:「甲子光年」拍攝輝達的發展史,就是不斷為其GPU尋找應用場景的歷史。在十多年前,黃仁勳通過AlexNet找到了人工智慧。而今天,黃仁勳為輝達下一個十年尋找的場景,就是機器人與物理AI。這一次,輝達還能得償所願嗎?但黃仁勳顯然信心滿滿,會場內迴蕩的一首歌曲似乎就是黃仁勳的內心獨白:I'll put my armor on show you how strong I am我會全副武裝讓你看看我有多堅強I'll put my armor on I'll show you that I am我會嚴陣以待讓你看看我I'm unstoppable我勢不可擋 (封面圖及未標註圖片來源:輝達及「甲子光年」拍攝) (甲子光年)